#Early Exit

4 篇

Think Harder Where It Matters: Item-Level Adaptive Recursion for Sequential Recommendation

重要处再深想：序列推荐中物品级自适应递归计算

🧭 序列推荐 · 自适应计算深度

Gaoling School of Artificial Intelligence, Renmin University of China

LoopRec 把序列推荐从固定深度改为逐 item 可退出递归，无需深度标签即可适应多 backbone 并稳定提升效果

📌 工作参考价值（4 点）

行为序列建模可借鉴：用单个权重共享 block 替代固定堆叠层，在每层后为每个 item 加轻量 gate 做 exit/continue 二选择，既省计算又可提升效果，适合 Transformer、SASRec 等 backbone 改造。
训练无需物品级深度标签，工程上更易落地：可先固定最大递归深度 K，让 gate 自动学习哪些 item 需要深计算；如果要控制算力，可以在损失里加预算正则或直接设置更小的 K。
诊断结论可迁移到电商序列/CTR 模型：序列里多数历史 item 浅层就稳定，少数关键 item 需深推理；可对低频商品、近期交互、高相关商品分配更多计算或额外交叉深度。
部署时注意动态递归带来变长计算：同一 batch 内不同 item 退出步数不同，可考虑按深度分组推理或设置最大深度兜底，低延迟场景尤其重要。

RecSys | 2026-10-20 | HF Daily | score 7/10

词汇参考系：以原生语义解读LM残差流

🧭 LLM可解释性 · 残差流原生语义

Monash University · Chongqing University · Technical University of Munich

利用模型自身剩余层读取隐藏状态，构建词汇参考系，使残差流可读、可归因、可操控，早期退出可跳过近半层

📌 工作参考价值（4 点）

线上LLM推荐/搜索生成可集成LexFrame[1]做early exit或self-speculative decoding：在中间层检测confident readings，跳过约45%层，延迟降低且输出差异仅0.16 nats。
归因分析替代attribution patching：lexical frame的系数更忠实反映预测来源，用于电商推荐/搜索模型审计，定位影响query或item生成的关键token段。
用lexical basis做受控steering：在不影响其他token前提下引导预测，可应用于电商文案/搜索词生成，如注入品牌词、规避敏感词、约束推荐理由风格。
该方法不依赖对模型输出的拟合，直接复用前向过程，工程实现轻量，适合嵌入现有LLM推理框架作为内省工具。

LLM | 2026-10-15 | cs.CL | score 6/10

超越承诺边界：探究大型推理模型中的附带现象链式思维

🧭 推理模型 · CoT可解释性 · 承诺边界 ★ 深度解读

CLCG, University of Groningen · University of Milano-Bicocca · University of Trieste · Khoury College of Computer Sciences, Northeastern University

通过截断因果框架定位CoT中的“承诺边界”，证明答案固化后的推理为附带现象，并用探针实现推理提前退出，节省最高55%的token。

📌 工作参考价值（4 点）

推理提前退出机制：通过探针预测答案承诺阶段，可在生成式推荐或对话Agent的推理链中实现动态提前终止，节省推理算力，同时保持输出质量。
识别并裁剪冗余推理：发现大量“附带现象”推理步骤对最终答案无因果影响，可用于训练数据清洗或生成后处理，截断 Agent 多轮交互中的无效推思考绪，提升系统效率。
内部激活探针灵活部署：轻量因果注意力探针可在单次前向传播中实时分类推理状态，跨任务泛化能力强，可迁移至电商客服Agent的思考链监控，在关键决策点触发动作。
模型选择与调优启示：不同模型家族的承诺边界位置差异显著（例如Gemma仅需13%推理长度即固化答案），在选型与微调时可针对性优化思考长度与准确率的权衡。

Reasoning | 2026-06-11 | cs.LG | score 8/10

迷你重排序器：通过视觉缓存复用与交互稀疏性实现高效多模态重排序

🧭 多模态重排序 · 视觉缓存复用与稀疏交互

Eastern Institute of Technology, Ningbo · Netmind.ai · Munich Center for Machine Learning, LMU

通过视觉优先格式、提前退出、交互带及token剪枝，将单查询多模态重排序时间降至原来的不到1%，同时保持96%以上性能。

📌 工作参考价值（4 点）

视觉优先的 prefix 缓存复用：在电商图片搜索重排中，将图片（视觉 token）放在输入序列前面，可利用 prefix caching 复用绝大多数计算，仅替换文本 query，大幅降低 KV cache 重复生成开销。
提前退出与交互限制：对于候选量大的商品重排序，可在模型浅层插入相关性头，仅对 top-K 候选执行深层交互，或只在少数层启用跨图文注意力，有效平衡精度与延迟。
视觉 token 剪枝：利用 embedder 引导的 token 剪枝，在图文对比前预先剔除冗余视觉信息，减少输入长度，适合移动端或高吞吐的轻量级多模态重排场景。
工程融合思路：三项优化（early exit + interaction band + token pruning）可叠加使用，根据业务延迟预算灵活配置，例如先剪枝再浅层打分，最后仅对少量候选进行完整多模态交互。

Multimodal | 2026-06-09 | cs.IR | score 8/10